大数据与Mapreduce

 

第十五章 大数据与Maprudece

一．引言

实际生活中的数据量是非常庞大的，采用单机运行的方式可能需要若干天才能出结果，这显然不符合我们的预期，为了尽快的获得结果，我们将采用分布式的方式，将计算分布到不同的机器上。Mapreduce就是一个典型的分布式框架，Hadoop则是用java编写的一个Mapreduce实现。

分布式和并行的区别在于分布式它将数据分布到不同的机器上，而并行只是将数据分布到同一簇中的不同节点上，它们的区别主要体现在物理载体层面上。

 

二．Mapreduce简介

Mapreduce是一个分布式计算的框架，从它的名字可以看出它主要有两个过程一个是mapper,另一个是reducer，另外在它们两者之间可能还会有sort或者merge的过程。mapper的过程就是将一个大的数据进行切片之后将它分布到若干个节点上，每一节点有它自己的算法，它会将结果映射为key/value这样的键值对。如果有sort或者merge的步骤，就将这些结果进行重新组织。reducer的过程就是将前面步骤得到的结果进行重新的切片，然后进行节点的分布，经过节点算法的运算之后就得到了最终的结果。

Mapreduce在进行数据分配的时候，为了避免一个节点宕机，而导致整个程序出错，它对同一份数据进行了多次备份并将它分配到多个节点上，这样就能避免一个节点宕机所带来的影响。Mapreduce之所以能够知道某个节点出错了，是因为它有一个主控节点，它管理了当前的所有的节点，通过主空节点与其他节点的通信我们就可以知道当前其他节点的状态。这里我们需要注意的是虽然主控节点可以与其他节点进行交流，但是其他节点之间是不能进行交流的，map任务之间不进行交流，reduce任务之间也不进行交流。

综上所述，关于Mapreduce我们需要知道以下几点：

1.主控节点控制了Mapreduce的作业流程

2.Mapreduce的作业可以分成map任务和reduce任务

3.map任务之间不做数据交流，reduce任务也一样

4.在map和reduce之间，有一个sort或combine阶段

5.数据被重复的放在不同的机器上，以防某个机器失效

6.mapper和reducer传输的数据形式是key/value

 

三．Hadoop流

Hadoop不仅可以进行分布式计算，而且它还具有分布式文件系统， 它是Mapreduce框架的一种java实现。Hadoop流就像linux中的管道一样，它能够将前一个命令的输出作为下一个命令的输入。也就是数据像流水一样在不同命令之间进行传递。Mapreduce中的数据需要从mapper流到sort，然后再到reducer,这符合Hadoop流的概念。

Hadoop本身是适用于java语言，对于非java语言我们就要使用Hadoop流

 

四．总结

当我们的数据量或者计算量很大的时候，我们可以考虑Hadoop和Mapreduce。其中Hadoop是Mapreduce的java实现。一个典型的作业流程是先使用map阶段并行处理数据，之后将数据在reduce阶段合并。这种多对一的模式是常见的，但是并不是唯一的。一般在map阶段之后还会对键值对key/value进行排序。